Along with the widespread use of face recognition systems, their vulnerability has become highlighted. While existing face anti-spoofing methods can be generalized between attack types, generic solutions are still challenging due to the diversity of spoof characteristics. Recently, the spoof trace disentanglement framework has shown great potential for coping with both seen and unseen spoof scenarios, but the performance is largely restricted by the single-modal input. This paper focuses on this issue and presents a multi-modal disentanglement model which targetedly learns polysemantic spoof traces for more accurate and robust generic attack detection. In particular, based on the adversarial learning mechanism, a two-stream disentangling network is designed to estimate spoof patterns from the RGB and depth inputs, respectively. In this case, it captures complementary spoofing clues inhering in different attacks. Furthermore, a fusion module is exploited, which recalibrates both representations at multiple stages to promote the disentanglement in each individual modality. It then performs cross-modality aggregation to deliver a more comprehensive spoof trace representation for prediction. Extensive evaluations are conducted on multiple benchmarks, demonstrating that learning polysemantic spoof traces favorably contributes to anti-spoofing with more perceptible and interpretable results.

尽管不变风险最小化（IRM）成功解决了分布式概括问题，但在实践中应用时，IRM仍可以损害最佳性。 IRM的实用变体，例如IRMV1，已被证明与IRM存在显着差距，因此即使在简单的问题中也可能无法捕获不变性。此外，IRMV1中的优化过程涉及两个内在冲突的目标，并且通常需要对客观权重进行仔细的调整。为了纠正上述问题，我们将IRM重新制定为多目标优化问题，并为IRM提出了一种新的优化方案，称为Pareto不变风险最小化（Pair）。对可以在客观冲突下适应优化指导。此外，我们表明对可以赋予实用的IRM变体能够在提供适当的指导时用原始IRM克服障碍。我们对ColoredMnist进行实验，以确认我们的理论和对的有效性。

尽管最近在欧几里得数据（例如图像）上使用不变性原理（OOD）概括（例如图像），但有关图数据的研究仍然受到限制。与图像不同，图形的复杂性质给采用不变性原理带来了独特的挑战。特别是，图表上的分布变化可以以多种形式出现，例如属性和结构，因此很难识别不变性。此外，在欧几里得数据上通常需要的域或环境分区通常需要的图形可能非常昂贵。为了弥合这一差距，我们提出了一个新的框架，以捕获图形的不变性，以在各种分配变化下进行保证的OOD概括。具体而言，我们表征了具有因果模型的图形上的潜在分布变化，得出结论，当模型仅关注包含有关标签原因最多信息的子图时，可以实现图形上的OOD概括。因此，我们提出了一个信息理论目标，以提取最大地保留不变的阶级信息的所需子图。用这些子图学习不受分配变化的影响。对合成和现实世界数据集进行的广泛实验，包括在AI ADED药物发现中充满挑战的环境，验证了我们方法的上等OOD概括能力。

我们研究动态算法，以便在$ N $插入和删除流中最大化单调子模块功能的问题。我们显示任何维护$（0.5+ epsilon）$ - 在基数约束下的近似解决方案的算法，对于任何常数$ \ epsilon> 0 $，必须具有$ \ mathit {polynomial} $的摊销查询复杂性$ n $。此外，需要线性摊销查询复杂性，以维持0.584美元 - 批量的解决方案。这与近期[LMNF + 20，MON20]的最近动态算法相比，达到$（0.5- \ epsilon）$ - 近似值，与$ \ mathsf {poly} \ log（n）$摊销查询复杂性。在正面，当流是仅插入的时候，我们在基数约束下的问题和近似的Matroid约束下提供有效的算法，近似保证$ 1-1 / e-\ epsilon $和摊销查询复杂性$ \ smash {o （\ log（k / \ epsilon）/ \ epsilon ^ 2）} $和$ \ smash {k ^ {\ tilde {o}（1 / \ epsilon ^ 2）} \ log n} $，其中$ k $表示基数参数或Matroid的等级。

我们提供了第一个子线性空间和次线性遗憾算法，用于在线学习，并通过专家建议（反对遗忘的对手），解决了Srinivas，Woodruff，Xu和Zhou最近提出的一个公开问题（STOC 2022）。我们还通过证明对自适应对手的任何子线性遗憾算法的线性记忆下限，证明了遗忘和（强）适应对手之间的分离。我们的算法基于一个新颖的泳池选择程序，该程序绕过了传统的在线学习领导者选择的智慧，以及将任何弱的子线性遗憾$ O（t）$算法转变为$ t^{1- \ alpha} $遗憾算法，这可能具有独立的利益。我们的下边界利用了零和游戏中无需重新学习和平衡计算的连接，从而证明了与自适应对手相对于自适应对手的强大界限。

我们研究机器学习分类器对对抗扰动的认证鲁棒性。特别是，我们提出了第一个普遍近似认证的鲁棒性（UNICR）框架，该框架可以近似于任何分类器上任何输入的鲁棒性认证，以与任何连续概率分布产生的噪声产生的任何$ \ ell_p $扰动。与最先进的认证防御措施相比，UNICR提供了许多重要的好处：（1）上述4'Any的第一个通用鲁棒性认证框架；（2）自动鲁棒性认证避免逐案分析，（3）认证鲁棒性的紧密度验证以及（4）随机平滑下使用的噪声分布的最佳验证。我们进行了广泛的实验，以验证UNICR的上述好处以及UNICR比最先进的认证防御能力对$ \ ell_p $扰动的优势。

当有大量的计算资源可用时，AutoAttack（AA）是评估对抗性鲁棒性的最可靠方法。但是，高计算成本（例如，比项目梯度下降攻击的100倍）使AA对于具有有限计算资源的从业者来说是不可行的，并且也阻碍了AA在对抗培训中的应用（AT）。在本文中，我们提出了一种新颖的方法，即最小利润率（MM）攻击，以快速可靠地评估对抗性鲁棒性。与AA相比，我们的方法可实现可比的性能，但在广泛的实验中仅占计算时间的3％。我们方法的可靠性在于，我们使用两个目标之间的边缘来评估对抗性示例的质量，这些目标可以精确地识别最对抗性的示例。我们方法的计算效率在于有效的顺序目标排名选择（星形）方法，以确保MM攻击的成本与类数无关。 MM攻击开辟了一种评估对抗性鲁棒性的新方法，并提供了一种可行且可靠的方式来生成高质量的对抗示例。

对机器学习模型的会员推理攻击（MIA）可能会导致模型培训中使用的培训数据集的严重隐私风险。在本文中，我们提出了一种针对成员推理攻击（MIAS）的新颖有效的神经元引导的防御方法。我们确定了针对MIA的现有防御机制的关键弱点，在该机制中，他们不能同时防御两个常用的基于神经网络的MIA，表明应分别评估这两次攻击以确保防御效果。我们提出了Neuguard，这是一种新的防御方法，可以通过对象共同控制输出和内部神经元的激活，以指导训练集的模型输出和测试集的模型输出以具有近距离分布。 Neuguard由类别的差异最小化靶向限制最终输出神经元和层平衡输出控制的目标，旨在限制每一层中的内部神经元。我们评估Neuguard，并将其与最新的防御能力与两个基于神经网络的MIA，五个最强的基于度量的MIA，包括三个基准数据集中的新提出的仅标签MIA。结果表明，Neuguard通过提供大大改善的公用事业权衡权衡，一般性和间接费用来优于最先进的防御能力。

众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

大规模监督学习中的共同挑战是如何利用新的增量数据到预先训练的模型，而无需从头开始重新培训模型。受到这个问题的激励，我们重新审视动态最小二乘回归（LSR）的规范问题，其中目标是通过增量训练数据学习线性模型。在此设置，数据和标签$（\ mathbf {a} ^ {（t）}，\ mathbf {b} ^ {（t）}）\ in \ mathbb {r} ^ {t \ times d} \ times \ MathBB {R} ^ T $以在线方式发展（$ t \ gg d $），目标是有效地将（近似）解决方案保持为$ \ min _ {\ mathbf {x} ^ {（t）}} \ | \ mathbf {a} ^ {（t）} \ mathbf {x} ^ {（t）} - \ mathbf {b} ^ {（t）} \ | \ | \ |在$中的所有$ t \。我们的主要结果是一种动态数据结构，它将任意小的恒定近似解，与摊销更新时间$ o（d ^ {1 + o（1）}）$，几乎匹配静态的运行时间（草图 - 基于）解决方案。相比之下，对于精确的（甚至$ 1 / \ mathrm {poly}（n）$ - 准确性）解决方案，我们在静态和动态设置之间显示了分离，即动态LSR需要$ \ω（d ^ {2- O（1）}）OMV猜想下的摊销更新时间（Henzinger等，STOC'15）。我们的数据结构在概念上简单，易于实施，并且在理论和实践中快速速度，通过对合成和现实世界数据集的实验进行了证实。